Dưới thời Việt Nam Cộng hòa, phường Long Sơn ngày nay là một phần xã Long Sơn, quận Tân Châu, tỉnh Châu Đốc.

Sau năm 1975, xã Long Sơn thuộc huyện Phú Tân, tỉnh An Giang.

Ngày 12 tháng 1 năm 1984, sáp nhập ấp Long Hậu của xã Long Sơn vào xã Phú Long[3].

Ngày 19 tháng 5 năm 2003, thành lập xã Long Hòa trên cơ sở 780 ha diện tích tự nhiên và 8.757 người của xã Long Sơn[4].

Sau khi điều chỉnh địa giới hành chính, xã Long Sơn còn lại 1.299 ha diện tích tự nhiên và 13.006 người.

Ngày 24 tháng 8 năm 2009, Chính phủ ban hành Nghị quyết số 40/NQ-CP[1]. Theo đó:

• Chuyển xã Long Sơn về thị xã Tân Châu mới thành lập
• Điều chỉnh 47 ha diện tích tự nhiên và 3.675 người của xã Long Sơn về phường Long Thạnh mới thành lập
• Thành lập phường Long Sơn thuộc thị xã Tân Châu trên cơ sở toàn bộ diện tích và dân số còn lại của xã Long Sơn.

Sau khi thành lập, phường Long Sơn có 1.314 ha diện tích tự nhiên và 9.707 người.